# -*- coding: utf-8 -*-
"""
@Time    : 2025/2/26 18:44 
@Author  : ZhangShenao 
@File    : 2.分词.py 
@Desc    : 分词

分词就是将文本分解成句子、词汇或词元
"""

from nltk.tokenize import word_tokenize

text = "Natural language processing (NLP) is a field of computer science."

# 使用nltk的word_tokenize函数对文本进行分词
tokens = word_tokenize(text)
print(tokens)
